Fujitsu entwickelt Rekonstruktionstechnologie für generative KI für optimierte und energieeffiziente KI-Modelle auf Basis von Takane LLM

Fujitsu hat eine neue Rekonstruktionstechnologie für generative KI entwickelt. Als zentraler Bestandteil des Fujitsu Kozuchi AI Service ermöglicht sie die Erstellung kompakter und energieeffizienter KI-Modelle auf Basis des Fujitsu Takane LLM.

Die Technologie basiert auf zwei Kerninnovationen:

• 1. Quantisierung: Ein Verfahren, das die in neuronalen Verbindungen gespeicherten Informationen stark komprimiert und so den Speicherbedarf reduziert – ohne signifikanten Genauigkeitsverlust.
• 2. Spezialisierte KI-Destillation: Eine weltweit erstmalige Methode (1), die sowohl eine Verschlankung als auch eine Genauigkeit oberhalb des Ausgangsmodells ermöglicht.

Durch den Einsatz der 1-Bit-Quantisierung auf Takane ließ sich der Speicherverbrauch um 94 Prozent verringern. Gleichzeitig erreichte Fujitsu eine weltweit höchste Genauigkeitsbeibehaltung von 89 Prozent (2) im Vergleich zum unquantisierten Modell sowie eine dreifache Beschleunigung der Inferenzgeschwindigkeit. Damit übertrifft Fujitsu die bislang üblichen Werte von unter 20 Prozent Genauigkeitserhalt bei gängigen Methoden wie GPTQ deutlich. Diese Innovation ermöglicht es, große generative KI-Modelle, die bisher vier High-End-GPUs erforderten, effizient auf einer einzigen Low-End-GPU auszuführen.

Die neue Kompaktheit eröffnet den Einsatz agentenbasierter KI auf Edge-Geräten wie Smartphones oder Fertigungsmaschinen. Dies steigert die Reaktionsfähigkeit in Echtzeit, verbessert die Datensicherheit und senkt den Energieverbrauch von KI-Anwendungen drastisch – ein wichtiger Beitrag zu einer nachhaltigen KI-Gesellschaft.

Ab der zweiten Hälfte des Geschäftsjahres 2025 wird Fujitsu weltweit Testumgebungen für Takane mit der neuen Quantisierungstechnologie bereitstellen. Zudem werden ab sofort schrittweise quantisierte Modelle von Cohere’s Open-Weight Command A über die Plattform Hugging Face (3) veröffentlicht.

Fujitsu wird die Forschung und Entwicklung im Bereich generative KI konsequent vorantreiben, um die Leistungsfähigkeit weiter zu steigern und die Zuverlässigkeit zu sichern – mit dem Ziel, komplexere Herausforderungen von Kunden und Gesellschaft zu lösen und neue Anwendungsfelder zu erschließen.

Details zur Technologie

Viele Aufgaben von KI-Agenten erfordern nur einen Bruchteil der allgemeinen Fähigkeiten eines LLM. Fujitsus Rekonstruktionstechnologie orientiert sich an der Fähigkeit des menschlichen Gehirns, neuronale Schaltkreise neu zu organisieren und sich durch Lernen und Erfahrungen auf bestimmte Fähigkeiten zu spezialisieren. So wird nur das für eine Aufgabe relevante Wissen extrahiert und ein spezialisiertes Modell geschaffen, das leichtgewichtig, effizient und zuverlässig ist.

• 1. Quantisierungstechnologie zur Verschlankung des KI-„Denkens“ und zur Reduzierung des Stromverbrauchs
• Parameterkomprimierung: Reduzierung der Modellgröße und des Energiebedarfs bei gleichzeitiger Performance-Steigerung.
• Lösung für Quantisierungsfehler: Fujitsus neuer Algorithmus zur Quantization Error Propagation verhindert das exponentielle Fehlerwachstum in mehrschichtigen Netzen.
• 1-Bit-Quantisierung: Weltweit führender Optimierungsalgorithmus ermöglicht die 1-Bit-Quantisierung großer LLMs.



 

• 2. Spezialisierte Destillation zur Verdichtung von Wissen und Verbesserung der Genauigkeit
  • Gehirn-inspirierte Optimierung: Anpassung der Modellstruktur an die Prozesse von Gedächtnisorganisation und Wissensverstärkung.
  • Modellgenerierung und -auswahl: Kombination aus Pruning, Hinzufügen von Transformer-Blöcken, Generierung von Kandidatenmodellen und Auswahl mittels Neural Architecture Search (NAS).
  • Wissensdistillation: Übertragung von Wissen aus Lehrermodellen (z. B. Takane) in kompaktere Studentenmodelle.
  • Nachgewiesene Ergebnisse:
    • Text-QA (Verkaufsverhandlungen, CRM-Daten Fujitsu): 11-fache Inferenzgeschwindigkeit, +43 % Genauigkeit, Studentenmodell mit nur 1/100 der Parameter übertrifft Lehrermodell, 70 % weniger GPU-Speicherbedarf und Betriebskosten.
    • Bilderkennung: +10 % Genauigkeit bei der Erkennung unbekannter Objekte (4), mehr als Verdreifachung der Genauigkeit innerhalb von zwei Jahren.

Zukunftspläne

Fujitsu wird Takane mithilfe dieser Technologie weiterentwickeln, um Kunden bei der Transformation ihrer Geschäftsprozesse zu unterstützen. Geplant sind spezialisierte, kompakte KI-Agenten auf Takane-Basis für Branchen wie Finanzwesen, Fertigung, Gesundheitswesen und Einzelhandel. Künftige Forschungsschritte zielen auf eine weitere Reduktion des Modellspeichers um den Faktor 1/1000 bei gleichbleibender Genauigkeit.

Langfristig sollen spezialisierte Takane-Modelle zu fortschrittlichen KI-Agenten heranwachsen, die ein tieferes Verständnis der Welt entwickeln und komplexe Probleme autonom lösen können.

Anmerkungen:

• 1. Weltneuheit: Systematische Kombination von Neural Architecture Search mit Wissensdistillation – erzielt Leichtgewichtigkeit und Genauigkeit jenseits des Ursprungsmodells.
• 2. Weltweit höchste Genauigkeitsbeibehaltung: Unabhängige Fujitsu-Benchmarks zeigen bessere Ergebnisse als modernste Verfahren wie OneBit.
• 3. Hugging Face: Plattform für gemeinschaftliche Arbeit mit KI-Modellen und -Datensätzen.
  https://huggingface.co/qep
• 4. Ergebnisse vorgestellt auf der 2025 IEEE International Conference on Image Processing (ICIP 2025).

Nützliche Links:

• Fujitsu Kozuchi
• Papier: "Quantization Error Propagation: Überdenken der schichtweisen Nachtrainingsquantisierung"
• Papier: "Optimierung durch paralleles Quasi-Quantum Annealing mit gradientenbasierter Abtastung"o

# # #